1
Dynamique du hasard et de l'information
MATH005Lesson 9
00:00
Imaginez un monde où l'avenir n'est pas un chemin fixe, mais un réseau scintillant de possibilités. Maîtriser le Dynamique du hasard c'est combler le fossé entre l'évolution stochastique — comment les systèmes évoluent d'un état à un autre — et la quantification de la « nouveauté » ou de la surprise inhérente à ces transitions.

1. L'architecture des transitions d'état

Considérons la logique météorologique. Si nous supposons que la pluie d'aujourd'hui est le seul facteur influençant demain, nous entrons dans le domaine des dynamiques markoviennes. Cela est élégamment illustré par EXEMPLE 2a:

Supposons que s'il pleuvra demain dépend uniquement des conditions météorologiques antérieures via le fait qu'il pleuve aujourd'hui. S'il pleut aujourd'hui, il pleuvra demain avec une probabilité $\alpha$ ; sinon, il pleuvra demain avec une probabilité $\beta$.

Cela crée une matrice de transition $P$ où nous pouvons calculer l'évolution future des probabilités en utilisant la Identité de Chapman-Kolmogorov:

$$P_{ij}^{(2)} = \sum_{k=0}^{M} P_{kj}P_{ik}$$

2. Le rythme d'arrivée

Le hasard ne concerne pas seulement où nous allons, mais quand les événements se produisent. Dans un processus de Poisson, nous suivons les arrivées discrètes (comme les tremblements de terre ou la désintégration radioactive) au fil du temps.

  • Temps inter-arrivées : Pour un processus de Poisson, notons $T_1$ le moment où se produit le premier événement. Pour $n > 1$, notons $T_n$ le temps écoulé entre le $(n-1)$-ième et le $n$-ième événement.
  • Stationnarité : La suite $\{T_n, n=1, 2, \ldots\}$ est composée de variables exponentielles indépendantes, déterminées par le taux $\lambda$.

3. L'information comme réduction de la surprise

La théorie de l'information, initiée par Claude Shannon, quantifie l'incertitude. Elle repose sur une belle fondation algébrique, spécifiquement Axiome 4:

Axiome 4 : $S(pq) = S(p) + S(q)$ pour $0 < p \le 1, 0 < q \le 1$

Cet axiome implique que la surprise de deux événements indépendants est la somme de leurs surprises individuelles, conduisant directement à la définition de l'entropie de Shannon:

$$H(X) = -\sum_{i=1}^n p_i \log_2(p_i)$$

🎯 Idée principale
Les dynamiques définissent les règles du jeu (probabilités de transition), tandis que l'entropie mesure combien nous apprenons en jouant réellement (gain d'information). Si $\alpha=1$ et $\beta=1$ dans notre modèle météorologique, le système est déterministe ; l'entropie est nulle car la « nouvelle » ne fournit aucune information supplémentaire.